Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
长时程音视频生成：持久故事与交互世界
🧭 多模态生成 · 长时记忆与几何控制
Joy Future Academy, JD
JoyAI-Echo-1.5 用跨镜头记忆与 6-DoF 几何控制实现角色持久和交互世界，并以 Self-Gradient Forcing 训练因果生成器
📌 工作参考价值（4 点）
- 长视频变体的 composable cross-shot memory 聚合多镜头视觉证据和 speech-filtered speaker cues，可借鉴到电商短视频广告生成中：显式维护商品/人物外观与音色记忆库，避免多镜头口播或商品展示中的角色漂移，提升跨镜头一致性。
- 世界模型变体将异构导航输入统一为 calibrated metric 6-DoF 相机轨迹，经 geometry-aware conditioning 注入，可迁移到虚拟直播间、3D 商品展示或交互式试衣间，使鼠标/键盘/手柄等不同控制信号映射到统一几何表示，简化多端交互接入。
- 训练技巧 progressive teacher forcing + short/long-horizon Self-Gradient Forcing 在自生成 rollout 上训练，将一个双向模型转为 causal few-step generator，可借鉴到推荐系统里的用户行为序列生成或 query 序列预测，减少 teacher forcing 导致的 exposure bias，提升长序列生成一致性。
- 工程实现上，将 speech-filtered full-shot audio 作为 speaker cues 绑定音色，可复用于电商数字人直播的音画同步与角色一致性，降低对多模态对齐标注的依赖。